Omni-Streaming Thinking
全模态流式思考：跨模态证据校验与反驳更新
🧭 流式全模态推理与证据核查
The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · LIGHTSPEED · University of Sussex · Independent Researcher
通过待定声明、分模态证据校验与反驳更新，缓解流式全模态模型过早跨模态固化，5个基准平均相对提升超10%
📌 工作参考价值（4 点）
- 在直播电商、视频客服、实时内容审核等流式多模态场景中，可借鉴「pending claim + verification interval」机制：先对用户意图或商品属性打待定标签，绑定未来验证窗口，到期用指定模态证据校验，避免视觉线索过早固化为事实。
- 多模态 RAG / Agent 记忆管理可分离存储不同模态证据，对每个 claim 指定验证模态，防止视觉信息覆盖音频等冲突信号，降低幻觉和错误推理。
- 引入 answer gate：仅当关键 claim 通过验证后才允许输出回答，可迁移到实时推荐/对话助手的置信度控制，减少过早错误推荐。
- 冻结大模型骨干 + 轻量适配即可获得显著流式全模态推理提升，适合业务方低成本复用 Qwen-Omni 等开源骨干。